本讲我们来讲解如何读写另外一台计算机上面的HDFS。在实际的环境中，我们的HDFS存储和应用程序很有可能是运行在不同的计算机上的。

上一讲我们实现了网络的互通，那么这一讲我们来讲解编写一个java程序来读写hdfs.。

步骤：

1、确保两台电脑网络互通(上一讲内容)；

2、Centos里面的HDFS运行正常(上一讲内容)；

3、Centos里面的防火墙开通9000端口(也就是centos里面的hdfs配置端口)

4、配置Windows里面的JDK；

5、配置Windows里面的Hadoop;

6、配置eclipse相关的hadoop插件或library包

7、创建Java程序。

一、开通9000端口

在centos的防火墙开通9000端口，如下：

centos开启后，在windows里面的浏览器可以访问如下来测试是否能正常访问该端口：(注意这里要用浏览器的极速模式或者谷歌浏览器，ie浏览器或者兼容模式可能无法访问)

另外，下面的所有的cmd命令都需要在新打开的cmd窗口中操作，如果用之前打开的cmd窗口，有可能测试失败，因为cmd都是针对打开窗口的时候的系统环境生效的。

二、配置Windows里面的JDK

本次演示的jdk版本

链接：https://pan.baidu.com/s/1X3hqp8DhdF-JEcK4rE6TyQ

提取码：kvgj

我这里的jdk文件存放的位置。

配置java_home

配置class_path

配置path

最终测试 java  和javac 命令都正常即可。

三、配置Windows里面的Hadoop

3.1配置环境变量

把hadoop压缩包解压，和centos里面的是通用的，只不过后缀为tar.zip的压缩包要不断解压才能得到最里面的文件夹。我这里是放在C盘根目录下。

链接：https://pan.baidu.com/s/1AJLenl05gs75XOQJisOyFg

提取码：4t4d

上面的hadoop的版本

然后配置环境变量hadoop_home：

然后配置path，把hadoop_home加入到path里面

保存后，cmd运行查看版本，或者直接在cmd命令框输入hadoop,如果提示以下错误：

根据提示，打开hadoop下面的hadoop-env.cmd  这里要注意的是cmd后缀是针对windows的,同名的sh后缀的是针对linux系统的。

选中hadoop-env.cmd文件，然后点击编辑(双击就直接运行了)。打开后把里面的“set JAVA_HOME=”改成如下：

上面要注意的是，因为我的java是放在 C:\Program Files 里面的，如果直接写C：\Program Files\Java\jdk-13.0.2 那么在dos模式下系统是无法识别这个路径的。

dos文件名模式下，“C:\Program Files”的缩写是“PROGRA~1”。或者改成“C：\Program Files”\Java\jdk-13.0.2

也就是用双引号括起来，否则系统无法识别有效的路径。

设置完后，运行cmd，可以看到正常了。

3.2下载winutils.exe

winutils.exe是在Windows系统上需要的hadoop调试环境工具，里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类，

下载后放在hadoop根目录bin下面

否则会提示：

3.3 下载hadoop.dll

将hadoop.dll分别复制到hadoop根目录的/bin和 C:\windows\system32目录下。

四、配置eclipse的hadoop插件

演示用的eclipse版本是4.14：

安装eclipse的hadoop插件，需要下载对应hadoop的eclipse插件版本。这里演示的hadoop版本是2.9.2，所以插件也是匹配的版本。

下面是eclipse安装路径：

先把eclipse关闭后，再把下载的hadoop-eclipse-plugin-2.9.2.jar放到dropins目录下面。

这里要说下eclipse常见安装插件的方式，网上很多方法都说把上面的jar放到plugins文件夹下面，其实eclipse从3.5版本后已经进行了修改，安装插件一般有3个方法：

1、直接用Eclipse在：“帮助”–>“安装软件”选项下安装。

2、link安装，方法是建一个links，里面建一个link文件把插件的路径配过去。

3、dropins安装方法，把需要的插件复制(拖放)到eclipse\dropins文件夹中，然后插件就安装成功了(当然必须先解压)。如要在其他机器上使用自己的插件。也只需要拷贝自己的dropins覆盖掉原有的。

eclipse启动后，可以看到在Project Explorer 多了一个“DFS Locations文件夹”

在windows-show view-other 启动hadoop配置窗口

、

选中map/reduce locations 然后点击确定，该窗口就可以显示在IDE底部。

底部可以看到如下，点击右边蓝色的大象图标可以新增配置点：

在配置点中，我们输入以下参数，配置完后点击“Finsh"：

然后，再打开：window --> proferences

找到Hadoop Map/Reduce  点击右边的browse 配置本地hadoop的安装路径，配置好后点击apply and close 来确认。

五、创建Java程序

5.1创建项目

打开eclipse,这里创建一个java项目，名称自定，

在map/reduce 里面选中 map/reduce project

起一个名称，点击next

完成后，我们可以看到新建的项目里面多了一个library包，里面包含了hadoop所用到的jar.

如果没有配置hadoop这个插件的话，需要自己通过建立Mavan项目(配置好xml文件后，mavan框架自动帮你联网下载完所有需要的jar包)，或者自己建立一个普通的java项目并且自己导入对应的hadoop的jar包。下面就是收到导入hadoop相关的jar包。如果你安装好了hadoop对应的eclipse插件，那么是不需要下面这一步的。

5.2导入hadoop的jar包(如果5.1能够创建mar/reduce project 就跳过这一步)

如果你上面的5.1步骤，不是通过创建map/reduce project 创建项目的，而是创建一个普通的java项目，则我们需要导入hadoop操作所需要的jar包，但是这一步很容易导致jar包缺失导致系统提示“没有HDFS文件系统”，也就是无法远程访问hdfs文件系统。这些包在我们hadoop的安装路径(C:\hadoop-2.9.2\share\hadoop\common   红色路径每台电脑都不一定一样)下面。

如果不到如hadoop的jar包，我们会发现，很多问题，如下红色波浪线：

首先：选中你自己创建的项目，如下：

然后点击File->Properties->

然后选中“Java Buile Path->Libraries->ClassPath->Add Library->User Library” 来创建一个自定义的jar包存储位置，然后点击Next

然后点击“User Libraries-->New...”在输入框中输入你要创建的Libraries的名称，这里名称自定，同样是要见名知意。我这里是hadoopJar

最后点击OK，然后点击应用按钮“Apply and Close”进入到下面的界面。

点击add external Jars 来添加jar包的路径。把common下面的所有jar包选中就可以了。

如下common目录下有

lib目录下也有

souces里面也有

所有选完后我们展开hadoopJar可以看到有了很多jar包

最后点击下面的“apply and close”

这时候我们可以看到，所有导包的语句没有了波浪线。

5.3编写代码

注意我这里是要在我的hdfs的根目录下面创建一个java的文件夹。我们看到原来centos的hdfs里面是没有java这个文件夹的。

在项目的src文件夹里面创建一个package，

在name这里输入名称，名称自定

，然后在包里面创建主类，主类名称同样自定。包主要是为了后续给class分类。

在主类中编写代码如下，不给你们源码了，好好找找写代码的感觉:

如果在运行的时候报错，报错的意义大概是Administrator用户被拒绝访问，那就是在配置的时候root用户没有生效，可以修改下上面的43行代码，改成：

也就是规定通过root

保存后运行结果如下，选择“java application”：

结果如下：

此时我们进入centos里面看看，经过我们java程序操作后，我们可以看到hdfs上多了一个java 文件夹：

最后，如果想统一下载所有内容的，可以用这个链接(文件比较大)：

还有hadoop2.6版本的针对eclipse的插件hadoop-eclipse-plugin-2.6.0.jar：

链接：https://pan.baidu.com/s/1tFgsWc1pY9TofbM1zkTfHg

提取码：1nqn

还有hadoop2.2版本的windows下的hadoop.dll和winutils.exe: